假设我在HadoopMapReduce中使用cleanup()函数。我如何在其中添加进度跟踪机制，比如说以完成百分比表示，以在控制台中显示它？ 最佳答案 没有执行Mapper.java的cleanup()类。当从命令提示符运行Hadoop作业时，控制台上会打印以下内容。11/10/3118:15:50INFOmapreduce.Job:map0%reduce0%11/10/3118:16:15INFOmapreduce.Job:map50%reduce0%11/10/3118:16:21INFOmapreduce.Job:map10

我安装了Hadoop，格式化了HDFS，运行了bin/start-all.sh，运行了bin/stop-all.sh，没有出现任何问题。现在每次我运行bin/start-all.sh时，TaskTracker都无法启动，我在TaskTracker日志中得到以下条目。2012-03-2721:22:03,842ERRORorg.apache.hadoop.mapred.TaskTracker:Cannotstarttasktrackerbecausejava.io.IOException:Calltolocalhost/127.0.0.1:9001failedonlocalexcepti

我一直在运行一些基准测试，我是hadoop和hdfs的新手。我已经设置好了，一切都在运行，它们运行良好。但是现在我面临这个问题，jpsonthemastershows1.二级名称节点2.工作跟踪器但不是名称节点和任务跟踪器。类似地，从节点上的jps仅显示名称节点，但任务跟踪器未运行。我通常以用户而不是root身份运行作业，但我错误地以root身份运行它，然后当我退出并以用户身份运行作业时，我发现作业没有启动。然后用jps我发现任务跟踪器没有运行。我是hdfs的新手，不确定如何调试和解决这个问题，如果你能就此提供一些指导/帮助，那就太好了，我试过谷歌但找不到相关答案。编辑:我尝试清除tm

当我运行加载大量小文件的Pig作业时，它会在此步骤中暂停很长时间:2013-07-1516:44:00,464[JobControl]INFOorg.apache.hadoop.mapreduce.lib.input.FileInputFormat-Totalinputpathstoprocess:42772013-07-1516:44:00,465[JobControl]INFOorg.apache.pig.backend.hadoop.executionengine.util.MapRedUtil-Totalinputpathstoprocess:42772013-07-1516:

我是BAM的新手，我的一个配置单元查询已损坏。但是我找不到问题所在，因为它给我的唯一错误是ERROR:ErrorwhileexecutingHivescript.Queryreturnednon-zerocode:9,cause:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.MapRedTask我环顾四周，发现BAM只能显示这么多信息，要了解更多信息，我需要查看hadoop的作业跟踪器。但是我找不到任何关于如何打开它或在BAM服务器中访问它的信息。那么我该如何访问它/打开它呢？

我正在尝试使用this在ubuntu上安装hadoop教程我已经更改了所有conf文件并尝试了互联网上可用的所有解决方案。我在运行start-all.sh时没有收到任何错误，但是当我使用jps检查进程时，我得到了这个:->3132Jps2742SecondaryNameNode2830JobTracker当我使用stop-all.sh时，我得到:->stoppingjobtrackerlocalhost:notasktrackertostopnonamenodetostoplocalhost:nodatanodetostoplocalhost:stoppingsecondaryname

我有一个10节点集群。当我提交Hive作业时，出现以下错误-WARNorg.apache.hadoop.mapred.TaskTracker:TaskTrackerlocalIncorrectpermissionfor/data/gomz/mapred/local,expected:rwxr-xr-x,whileactual:rwxrwxr-xERRORorg.apache.hadoop.mapred.TaskTracker:CannotstartTaskTrackerbecauseorg.apache.hadoop.util.DiskChecker$DiskErrorExceptio

这是我的情况:我有一个使用HBase的mapreduce作业。我的映射器接受一行文本输入并更新HBase。我没有reducer，也没有将任何输出写入光盘。我希望能够在我预期利用率激增时为我的集群增加更多处理能力，然后在利用率下降时缩减。让我们暂时假设我不能使用亚马逊或任何其他云提供商；我在私有(private)集群中运行。一种解决方案是在我需要更多容量时向我的集群添加新机器。但是，我希望能够在没有任何等待或麻烦的情况下添加和删除这些机器。我不想每次需要添加或删除节点时都重新平衡HDFS。所以看起来一个好的策略是拥有一个“核心”集群，其中每台机器都运行一个tasktracker和一个数据

我有一个Hadoop集群运行Cloudera的CDH3，ApacheHadoop的0.20.2等价物。我想重新启动工作跟踪器，因为有些工作没有被杀死。我尝试从命令行杀死它们，命令成功执行，但作业仍处于JobCleanup:Pending状态。无论如何，我想重新启动job-tracker并查看是否清理了作业。我知道重新启Action业跟踪器的命令，但我不确定在重新启Action业跟踪器之前是否需要将name-node置于安全模式。 最佳答案 您可以尝试使用hadoopjob-kill终止不需要的作业并检查命令状态echo"$?".如果

我使用的是Cloudera的Hadoop发行版CDH-0.20.2CDH3u0。有什么办法可以使用在hadoop框架之外运行的JAVA程序获取诸如jobtracker状态、tasktracker状态、计数器等信息？我尝试使用JMX进行监听，但hadoop提供的有关Jobtracker、tasktracker和数据节点的信息非常少。它不提供与运行作业状态相关的任何JMX属性，例如映射完成百分比、减少完成百分比、任务完成百分比、尝试完成百分比、计数器状态等。此外，我尝试使用hadoop转储的指标日志。但它也不包含任何有关map/reduce完成百分比、任务完成百分比的信息。我认为，应该有一